吴恩达Deep Learning课程学习笔记(七)

第三周

  1. 归一化网络的激活函数
    在神经网络中主要是对Z进行归一化
    ia5lRg.png
    当我们想在隐藏层中使用不同分布的时候,可以对Z进行计算
    ia5QJS.png
    其中参数γ和β是超参数,如果γ=(σ2+ε)1/2,β=μ,则
    ia5diT.png
  2. Softmax回归
    Softmax回归其实就是逻辑回归的推广,它能够对多个特征进行分类。
    Softmax函数的形式为:
    ia5Mi8.png
    Softmax回归的损失函数为:
    ia5ndP.png